В результате интерференции родилась такая мысль, надо ее застолбить :)

Задача

Вот, допустим, есть у нас некая MDM система, которая помимо прочего в рамках ETL процедуры должна уметь забирать описания товара из какой-нибудь 1C. Данные, как это водится, грязные. Вводят их вручную менеджеры, операторы склада или бухгалтеры. А даже если вводят ( Read more... )

Иногда анализ текста сводится к определению групп слов, образующих составляющие первого уровня относительно корня в терминах дерева зависимостей (см. описание shallow parsing).

( Read more... )

1. У меня пока не исчезли остаточные подозрения в переобучении модели. Поэтому надо внести в обучеющий корпус побольше длинных, сложных предложений, особенно содержащих ФИО, топонимы, а также числовые объекты ( Read more... )

10,000 предложений из моего эталонного корпуса дают погрешность ~1.7%, то есть очень неплохо.

Разметка выполняется так.
Предложение: очень застенчивый страж таинственной пещеры поспешно отвел свой внимательный взгляд от вошедшего человека.


( Read more... )